1. Pengantar
Terakhir Diperbarui: 08-02-2022
Mengapa perlu Streaming Multi-Cloud?
Bisnis secara aktif berupaya menyebarkan workload mereka di beberapa platform cloud karena ada beberapa keuntungan mengadopsi beberapa penyedia cloud ke dalam alur kerja operasional bisnis seperti:
- Keterikatan pada vendor
- Memitigasi Risiko Kelangsungan Bisnis
- Dependensi dan Ketergantungan pada satu Technology Stack
Yang akan Anda bangun
Dalam codelab ini, Anda akan menyiapkan streaming data multi-cloud antara AWS dan GCP dengan memanfaatkan Confluent Cloud. Anda akan:
- Siapkan Cluster Kafka Khusus di Confluent Cloud di GCP.
- Siapkan peering VPC antara Confluent Cloud dan Project GCP Anda agar dapat diakses di jaringan pribadi.
- Siapkan tunnel VPN antara project AWS dan project GCP Anda sehingga resource di kedua hyperscaler dapat terhubung.
- Akses Confluent Kafka dari AWS dan siapkan pipeline streaming dari AWS ke GCP dengan memanfaatkan Confluent Kafka Cloud.
Yang akan Anda pelajari
- Cara menyiapkan peering VPC antara Confluent Cloud Kafka dan project GCP Anda.
- Cara menyiapkan tunnel VPN antara project AWS dan GCP.
- Cara mengakses Confluent Cloud yang dihosting GCP dari project AWS Anda.
Codelab ini berfokus pada pembuatan streaming data multi-cloud. Konsep dan blok kode yang tidak relevan akan dibahas sekilas dan disediakan, jadi Anda cukup menyalin dan menempelkannya.
Yang Anda butuhkan
- Akses project AWS.
- Akses project GCP.
- Pengalaman Cloud GCP & AWS.
- Langganan Confluent Kafka dari GCP Marketplace.
2. Mempersiapkan
Siapkan koneksi VPN antara AWS dan GCP
- Demo ini menggunakan VPC default (asia-southeast1) di GCP dan ng-vpc-103-mum (ap-south1) di AWS.
- Di AWS, Buat Customer Gateway dan Virtual Private Gateway (VPG). Hubungkan VPG ke VPC AWS.
- Buat koneksi VPN site-to-site di AWS.
- Download file konfigurasi untuk tunnel yang dibuat di AWS. Pilih
- Vendor : Generik
- Platform : Umum
- Software : Agnostik Vendor
- Versi IKE : Ikev2
- Buat Gateway VPN dan Tunnel VPN di GCP.
Berikan alamat IP dan kunci Ikev2 dari file Konfigurasi AWS yang didownload untuk kedua tunnel.
- Setelah selesai, tunnel akan AKTIF dan Berjalan di AWS dan GCP.
Penyiapan tunnel kini telah selesai.
- Pilih blok CIDR yang akan digunakan untuk mengonfigurasi Confluent Cloud. Tambahkan ini ke tunnel VPN sebagai rute statis di AWS.
Confluent Kafka di GCP Marketplace
- Berlangganan Confluent Kafka dari GCP Marketplace.
- Login ke Confluent Cloud dan buat Dedicated Cluster
- Berikan ID Project GCP beserta detail Jaringan VPC untuk peering.
- Selesaikan Peering VPC di sisi GCP dengan detail jaringan cluster Confluent Cloud yang diberikan.
- Cluster Confluent Cloud kini Aktif dan Terhubung dengan GCP.
- Uji konektivitas ke Confluent Cluster dari GCP.
- Sediakan Instance GCE dan instal Python3.
- Buat Kunci Klien Python di Confluent Cloud
- Jalankan skrip pengujian "producer.py" dari instance GCP:
- Sekarang, download codebase contoh di instance AWS dan jalankan skrip "producer.py" untuk menguji konektivitas hybrid ke Confluent Cloud dari GCP.
3. Selamat
Selamat, Anda telah berhasil membangun platform streaming Confluent Kafka lintas regional multi-cloud antara AWS & GCP.
Codelab yang Bermanfaat**?**
Lihat beberapa codelab ini...